بررسی عملکرد روشهای یادگیری جمعی با توجه به روش انتخاب ویژگی به منظور ادغام طبقهبندی کنندههای انعکاسی و حرارتی باهدف شناسایی سیروس و برف/یخ در تصاویر مادیس نفیسه قاسمیان مهدی آخوندزاده هنزائی 2 دانشجوي کارشناسي ارشد سنجش از دور - دانشکده مهندسي نقشهبرداري و اطالعات مکاني - دانشگاه تهران n.ghasemian@ut.ac.ir چکیده نشريه علمي- پژوهشي علوم و فنون نقشه برداري دوره هفتم شماره شهريور ماه 3 2 استاديار دانشکده مهندسي نقشهبرداري و اطالعات مکاني - دانشگاه تهران makhonz@ut.ac.ir )تاريخ دريافت آ بان 3 تاريخ تصويب فروردين 3( تقريبا همهي تصاوير سنجندهي ماديس داراي قسمتهاي پوشیده از هستند. به منظور استخراج اطالعات صحیح از دادههاي ماديس يکي از پیشپردازشهاي کلیدي شناسايي پیکسلهاي ي و جداسازي آن از عوارض مشابه مانند است. ويژگيهاي مورد استفاده در طبقه- بندي به دو دستهي ويژگيهاي بافتي و طیفي تقسیم ميشوند. با استفاده از ويژگيهاي بافتي باندهاي مرئي امکان جداسازي پیکسلهاي از پیکسلهاي فراهم ميشود ولي و برف ميتوانند داراي ويژگيهاي حرارتي مشابه باشند. همچنین از ويژگيهاي حرارتي )دما( در ماسک ماديس به منظور شناسايي ها در ارتفاعهاي مختلف استفاده شده است. مطالعات زيادي به منظور طبقهبندي پوشش سطح زمین با استفاده از روشهاي يادگیري جمعي انجام شده است و از اين روشها صرفا به منظور طبقهبندي استفاده شده است. در اين تحقیق کاربردي جديد از روشهاي يادگیري جمعي در مقايسه با مطالعات پیشین مطرح شده است و از اين روشها به منظور ادغام دو نوع مختلف از طبقهبندي کنندهها که نوع اول طبقهبندي کنندههايي با ويژگيهاي انعکاسي و نوع دوم با ويژگيهاي حرارتي هستند استفاده شده است. همچنین در مطالعات پیشین اثر تغییر ويژگيهاي ورودي بر عملکرد نهايي روشهاي يادگیري جمعي مورد بررسي قرار نگرفته است. بناين هدف اين تحقیق مقايسه- ي نتیجهي ادغام طبقهبندي کنندههاي با ويژگيهاي انعکاسي و حرارتي با استفاده از دو نوع از روشهاي يادگیري جمعي شامل و الگوريتم جنگل تصادفي) RF ( به منظور شناسايي پیکسلهاي ي سیروس و با توجه به روش انتخاب ويژگي ميباشد. ابتدا به منظور انتخاب ويژگيهاي انعکاسي و حرارتي در روشهاي از روشهاي معیار S و الگوريتم ژنتیک )GA( و در روش RF وtotalboost logitboost adaboostsvm به کار گرفته شده شامل adaboost.m عالوه بر روشهاي ذکر شده از روش حذف ويژگي به روش بازگشتي )RFE( و ماتريس کارلیشن استفاده شد. سپس طبقهبندي کنندهها در سطح تصمیم با يکديگر ادغام شدند. براي اکثر روشهاي يادگیري جمعي صرف نظر از روش انتخاب ويژگي دقت تولیدکنندهي وسیروس بااليي دست آمد. استفاده از دو روش RFE دقت کاربري پیکسلهاي به ترتیب %33 و % را نتیجه دهد که نسبت به حالتي که از روشهاي معیار انتخاب ويژگي استفاده شد دقتهاي باالتري را نشان داد. روشهاي و ماتريس کارلیشن در الگوريتم RF S توانست و الگوريتم ژنتیک )GA( براي صرف نظر از روش انتخاب ويژگي با اختصاص وزن بیشتر به دادههاي آموزشي مربوط به کالس با تعداد دادههاي آموزشي کمتر توانستند به دقت تولیدکنندهي باالتري تسبت به الگوريتم يابند. همچنین اين روشها دقت کاربري سیروس نسبتا باالتري نسبت به روشهاي RF دست RF RF نتیجه دادند. در بین روشهاي انتخاب ويژگي مختلف در روش ماتريس کارلیشن توانست دقت کاربري سیروس %3 را نتیجه دهد. در انتها میزان توافق نتايج طبقهبندي با نقشهي مرجع به دست آمده از ماسک ماديس محاسبه شد. روشهاي RF درصد توافقهاي باالتري نسبت به روشهاي براي روش RF-RFE به مقدار %6 و پايینترين براي روش logit boost-ga به مقدار %22 به دست آمد. نتیجه دادند. باالترين درصد توافق واژگان کلیدی: روشهاي يادگیري جمعي انتخاب ويژگي سیروس ادغام طبقهبندي کنندههاي انعکاسي و حرارتي نويسنده رابط 37
- بررسي عملکرد روشهاي يادگیري جمعي با توجه به روش انتخاب ويژگي به منظور ادغام... مقدمه اولین گام در طبقهبندي پیدا کردن ويژگيهاي مناسب است. بسیاري از ويژگيهاي ورودي به فرايند طبقهبندي -2 براي شناسايي عارضهي مورد نظر مناسب نیستند. ويژگي نامناسب به ويژگي گفته ميشود که استفاده از آن در طبقهبندي و شناسايي عارضهي مورد نظر تاثیري نداشته باشد و يا اطالعات جديدي در مورد تارگت اضافه نکند[ ]. در بسیاري از مواقع حجم دادههاي ورودي به طبقهبندي باال بوده و فرايند يادگیري قبل از حذف ويژگيهاي اضافي به خوبي انجام نميشود. حذف اين ويژگيهاي نامرتبط و اضافي موجب افزايش سرعت يادگیري ميشود. بناين روشهاي انتخاب ويژگي سعي ميکنند مجموعهاي از ويژگيهاي مرتبط با شناسايي عوارض مورد نظر را انتخاب کنند. تنوع روشهاي انتخاب ويژگي موجود اين سوال را به وجود ميآورد که کدام يک از روشهاي انتخاب ويژگي متداول در کاربرد مورد نظر مناسب است. بر اساس نحوهي تولید ويژگيها و تابع ارزيابي ميتوان روشهاي متنوعي براي انتخاب ويژگي در نظر گرفت. روشهاي مختلفي براي تولید زير مجموعهاي از ويژگيها وجود دارند که عبارتند از: - جستجوي کامل جستجوي اکتشافي - جستجوي رندم. روش جستجوي رندم روشي نسبتا جديد نسبت به دو روش ديگر ميباشد. هرچند ابعاد فضاي جستجو است ولي 2 N در عمل تعداد ويژگيهايي که مورد بررسي قرار ميگیرند 2 N کمتر از ميباشد و الگوريتم پس از تعداد تکرار معین متوقف ميشود. عملکرد اين روش بستگي به ويژگيهاي ورودي و نحوهي تولید اعداد تصادفي دارد. از اين دسته ميتوان به روشهاي تصادفي مانند الگوريتم ژنتیک اشاره کرد. پیدا کردن يک زير مجموعهي بهینه با توجه به يک تابع ارزياب انجام ميشود. تابع ارزيابي قابلیت جداسازي کالسهاي مختلف براي يک ويژگي يا مجموعهاي از ويژگيها را اندازگیري ميکند. تابعهاي ارزياب را ميتوان به پنج دسته تقسیم کرد[ ]: تابع فاصله اطالعات وابستگي هماهنگي 2 و میزان خطاي طبقهبندي. روشهاي دستهي دو به ميتوان را شناسايي تقسیم کرد[ 2 ]. از روشهاي فیزيکي و مدلهاي داده کاوي روشهاي دستهي اول ميتوان به روشهاي ذکر شده در منابع و [8]-[] اشاره کرد. در سالهاي اخیر تحقیقات قابل توجهي در حیطهي شناسايي با استفاده از روشهاي داده کاوي انجام شده است. در مقاالت از طبقهبندي کننده 2 هايي 6 مانند شبکه عصبي احتمال بیشینه درخت تصمیمگیري نزديکترين 8 شده استفاده شناسايي براي همسايگي است. در مقايسه با روشهاي فیزيکي روشهاي داده کاوي طور قابل به را طبقهبندي دقت دادهاند. بهبود توجهي همچنین تحقیقات زيادي به منظور شناسايي در تصاوير سنجندهي ماديس انجام شده است[ 3 ]. ويژگيهاي مورد استفاده در طبقهبندي به دو دستهي ويژگيهاي طیفي و بافتي تقسیم ميشوند. دستهي اول که نقش مهمتري در طبقهبندي ايفا ميکنند اطالعات مرتبط با راديانس را در باندهاي طیفي مختلف استخراج ميکند[ ]. به عنوان مثال از اين دسته روشها ميتوان به روشهاي مبتني بر حدآستانه روشهاي هیستوگرام مبنا و روشهاي چند طیفي اشاره کرد. ويژگيهاي طیفي به خاطر اهمیت فیزيکيشان )انعکاس و دما( ويژگيهاي ساده و در عین حال موثري براي شناسايي ميباشند. هر چند اين ويژگيها در 3 و برف به خاطر شباهت طیفيشان تشخیص هاي يخي با مشکل مواجه ميشوند. دستهي دوم انواع مختلف را با استفاده از توزيع مکاني وقوع درجات خاکستري در يک ناحیه و در يک باند خاص شناسايي ميکند. از جمله ويژگيهاي بافتي مفید در شناسايي ميتوان به دو ويژگي کنتراست و وابستگي اشاره کرد[ ]. در مطالعهاي صحت طبقهبندي در تصاوير ماهوارهي لندست با دو روش مختلف در استخراج بافت با يکديگر مقايسه شدند. نتايج به دست آمده صحت پايینتري را براي روش GLDV نسبت به روش GLCM نشان داد[ 2 ]. چانگ هو آي و همکارانش از ويژگيهاي بافت 3 Data mining models 4 classifier 5 Neural network 6 Maximum likelihood 7 Decision tree 8 -nearest neighbors Ice clouds GLDV Gray level co-occurrence matrix heuristic 2 consistency 38
ماتريس نشريه علمي- پژوهشي علوم و فنون نقشه برداري دوره هفتم شماره شهريور ماه 3 totalboost logitboost adaboostsvm GGCM به منظور شناسايي استفاده کردند[ ]. از معايب اين روش ميتوان به در نظر گرفتن عوارضي که ويژگيهاي مشابه با دارند مانند: بیابان مه برف و دود به عنوان اشاره کرد. در سالهاي اخیر تحقیقات زيادي در زمینهي ترکیب طبقهبندي کنندهها به منظور ايجاد يک طبقهبندي کنندهي نهايي پیشنهاد داده شدهاست. اين طبقهبندي کننده معموال از طبقهبندي کنندههاي اولیه صحت باالتري دارد. به روشهاي ترکیب طبقهبندي کنندهها 2 گفته ميشود. در مطالعهاي از روشهاي يادگیري جمعي روشهاي يادگیري جمعي bagging و به منظور طبقهبندي پوشش زمین با استفاده از طبقهبندي کنندهي ماشین بردار پشتیبان )SVM( استفاده شد. نتايج به دست آمده نشان داد که روش عملکرد طبقهبندي کنندهي SVM را بهبود نداد[ 2 ]. همچنین در مطالعهي ديگري عملکرد سه روش يادگیري جمعي bagging و الگوريتم جنگل تصادفي )RF( در طبقهبندي پوشش اراضي با روش درخت تصمیمگیري مقايسه شد. نتايج به دست آمده نشان داد که مقادير ضريب کاپاي به دست آمده با استفاده از روشهاي يادگیري جمعي % بیش از مقدار مشابه به دست آمده با استفاده از الگوريتم درخت تصمیمگیري بود[ ]. در تحقیقات ذکر شده اثر تغییر روش انتخاب ويژگي بر عملکرد نهايي روشهاي يادگیري جمعي مورد بررسي قرار نگرفته است. همچنین در اين مطالعات از روشهاي يادگیري جمعي صرفا به منظور طبقهبندي پوشش سطح زمین استفاده شده و کارايي اين روشها در ادغام طبقهبندي کنندهها بررسي نشدهاست. مطالعات انجام شده در طبقهبندي با استفاده از مجموعهاي از طبقهبندي کنندهها و يا تنها يک طبقهبندي کننده وابستگي نتايج را به تعداد و نوع ويژگيهاي ورودي نشان ميدهند[ 8] [ ]. بناين با توجه به تحقیقات انجام شده ميتوان گفت روش انتخاب ويژگي نیز ميتواند يک پارامتر تاثیر گذار در نتیجهي طبقهبندي سیستمهاي باشد. طبقهبندي کنندهي چندگانه در اين مقاله عملکرد روشهاي 2 شامل نوع مختلف از و الگوريتم جنگل تصادفي به منظور ادغام طبقهبندي کنندههاي انعکاسي )ويژگيهاي بافتي و طیفي انعکاس باندهاي مرئي-مادون قرمز نزديک( و حرارتي )ويژگيهاي بافتي و طیفي مقادير دما( با توجه به روش انتخاب ويژگي با هدف شناسايي پیکسلهاي و سیروس با هم مقايسه شدند. همچنین میزان توافق نتايج طبقهبندي با روشهاي مختلف انتخاب ويژگي با ماسک ماديس محاسبه شد. 2- مبانی تئوری تحقیق به منظور شناسايي پیکسلهاي و سیروس از روشهاي logitboost adaboostsvm adaboost.m totalboost v و الگوريتم جنگل تصادفي )RF( استفاده شد بناين بررسي اجمالي مباني تئوري اين روشها ضروري به نظر ميرسد. Adaboost.M--2 Adaboost.M رايجترين نوع از روشهاي آدابوست مي- باشد. جزئیات اين الگوريتم در مرجع[ 3 ] AdaboostSVM -2-2 طبقهبندي کنندهي SVM بیان شده است. يک طبقهبندي کنندهي پارامتريک است. کرنل گوسین شامل دو پارامتر پهناي گوسین σ و ضريب تنطیمگر C ميباشد. تغییر در مقادير اين پارامترها موجب تغییر در عملکرد طبقهبندي کننده ميشود. هر چند انتخاب مقداري کوچک براي پارامتر تنظیمگر موجب کاهش دقت عملکرد طبقهبندي با کرنل گوسین ميشود ولي بررسيها نشان ميدهد که در صورت انتخاب يک مقدار مناسب براي پارامتر تنظیمگر عملکرد کرنل گوسین بیشتر تحت تاثیر پارامتر σ ميباشد[ 2 ]. مقدار خطاي تست نهايي وابستگي زيادي به مقدار ندارد. همچنین پارامتر C σ step تعداد دفعات تکرار الگوريتم را تعیین ميکند و و تغییر آن تاثیر چنداني بر روي مقدار خطاي تست نهايي ندارد. براي توضیحات بیشتر درباره adaboost.m اين روش به مرجع [2] مراجعه شود. Gradient gray level co-occurrence matrix 2 ensemble learning methods 3 Multiple classifier systems (MCS) 3
Logitboost -3-2 بررسي عملکرد روشهاي يادگیري جمعي با توجه به روش انتخاب ويژگي به منظور ادغام... الگوريتمهاي آدابوست ميتوانند به عنوان فرآيندهاي گام به گام به منظور برازش مدل لجستیک افزايشي در نظر گرفته شوند[ 2 ]. اين الگوريتم يک معیار نمايي را بهینه ميکند. بسط سري تیلور اين معیار تا مرتبهي دوم بر با معیار احتمال لگاريتمي دو جملهاي است. هدف در اين روش پیدا کردن تابع F(x) اي است که رابطهي )( را مینیمم کند. J F E e yf x ( ) ( ) ( ) )( در رابطهي) ( E ميتواند امید رياضي جامعهي آماري با توزيع احتمال مشخص و يا میانگین نمونه باشد. تابع ( F(xاي که مقدار رابطهي ) (را مینیمم ميکند تبديل لجستیک P(y== x) )2( بناين است )رابطهي )2((. P y x F x log 2 P y x P( y x) e P( y x) e e F( x) e F ( x ) F ( x ) e F( x) e F ( x ) F ( x ) )( )2( totalboostv -4-2 روش بوستینگ ميتواند به عنوان يک مسئلهي بهینه سازي در نظر گرفته شود. هدف اين الگوريتم انتخاب يک از طبقهبندي کنندههاي به اصطالح ضعیف ترکیب کوژ است به گونهاي که مقدار حاشیه حداکثر شود. الگوريتم آدابوست که يکي از انواع رايج روش بوستینگ ميباشد ميتواند به عنوان مسئلهاي با هدف مینیمم کردن آنتروپي توزيع وزن دادههاي آموزشي در آخرين تکرار نسبت به توزيع وزن دراولین تکرار در نظر گرفته شود. اين روند مینیمم سازي تا زماني ادامه مييابد که میانگین وزندار y(v,w,x) يک ترکیب کوژاز نقاط a,b,c نامیده ميشود در صورتي حاشیهي نمونهها )edge( بر با مقدار صفر شود )اين شرط معادل با نصف شدن خطاي وزن دار طبقهبندي کننده در انواع پیشین بوستینگ ميباشد(. در اين روش فرآيند مینیمم سازي تابع آنتروپي نسبي با اين انجام ميشود که مقادير edge در t شرط طبقهبندي گذشته از مقدار γ بیشتر نشود. به چنین الگوريتمهايي در اصطالح totally corrective گفته ميشود[ 22 ]. اين روشها به تعداد دفعات تکرار کمتري نیاز دارند و روشهاي مناسبي به منظور انتخاب ويژگي 2 ميباشند. 5-2- الگوریتم جنگل تصادفی 3 الگوريتم جنگل تصادفي از جديدترين روشهاي يادگیري جمعي است[ 2 ]. اين روش تعمیم الگوريتم bagging ميباشد و تفاوت اصلي آن در انتخاب ويژگي 2 مجموعهاي از ويژگيها به طور تصادفي است. در هر گره تصادفي انتخاب ميشوند و سپس مراحل انتخاب ويژگي در هر گره در فضاي ويژگي ادامه مييابد. پارامتر در K اين الگوريتم میزان مشارکت تصادفي بودن را کنترل ميکند. در صورتي که K= در نظر گرفته شود در هر گره يک ويژگي انتخاب ميشود در صورتي که بر با K کل ويژگيهاي موجود در نظر گرفته شود درخت تصمیم ايجاد شده همان درخت تصمیم قطعي قديمي خواهد بود. مقدار پیشنهادي براي K بر با لگاريتم تعداد ويژگيها ميباشد همچنین در برخي منابع مقدار اين پارامتر بر با جذر تعداد ويژگيها يا باندهاي طیفي در نظر گرفته شدهاست[ 22 ]. تصادفي بودن اين روش به مرحلهي انتخاب ويژگي مربوط ميشود و انتخاب حدآستانه در هر گره يک پروسهي تصادفي نميباشد[ 2 ]. 3- دادههای مورد استفاده و منطقهی مورد مطالعه به منظور شناسايي پیکسلهاي ي از دادههاي MOD02KM-LB ماهوارهي Terra سنجندهي ماديس استفاده شد. اين دادهها داراي رزولوشن مکاني KM هستند و بايد قبل از استفاده بر رويآنها به ترتیب تصحیحات 2 Feature selection 3 Random forest 4 node n که 0 a, b, c and v, w, x, y ( v, w, x) va wb xc, v+w+x=, v,w,x 40
هندسي و راديومتريکي صورت گیرد. همچنین تصاوير بايد زمین مرجع شوند. تصاوير ماديس داراي باند طیفي در نشريه علمي- پژوهشي علوم و فنون نقشه برداري دوره هفتم شماره شهريور ماه 3 محدودهي 2-2/. μm ميباشند. تصوير مورد استفاده مربوط به منطقهي خاورمیانه بوده و در تاريخ سوم فوريهي سال 2 ساعت 6: صبح اخذ شده است. شکل محدودهي منطقهي مورد مطالعه را بر روي نقشه نشان ميدهد. در اين تحقیق به منظور ارزيابي صحت پیکسلهاي ي شناسايي شده نتايج با نقشهي مرجع به دست آمده از MOD35 مقايسه شدند. بناين در اين تحقیق از دادههاي MOD35 نیز استفاده شد. دادههاي مورد نیاز از سايت NASA http:www.ladsweb.nascom.nasa.gov فرمت hdf قابل دانلود ميباشند. 4- پیش پردازش شکل - محدودهي منطقهي مورد مطالعه به آدرس اينترنتي به صورت رايگان در همان طور که گفته شد قبل از انجام پردازشهاي الزم بر روي دادههاي Level B سنجندهي ماديس نیاز به انجام تصحیحات هندسي راديومتريکي و تبديل مقادير به DN مقادير انعکاس و دما ميباشد. تصحیح هندسي تصاوير ماديس شامل حذف خطاي bow tie bow tie از افزونهي بر روي نرمافزار حذف خطاي ميشود. جهت تصحیح خطاي Modis conversion toolkit(mctk) ENVI bow tie که نصب ميشود استفاده شد. همزمان با سیستم مختصات تصاوير از سیستم مختصات محلي به جهاني انتقال يافت. تصحیح راديومتريکي به ميباشد[ 26]-[2 ]. معني کاهش اثر خطاي نوار نوار شدگي 2 به منظور کاهش در اين تحقیق از روش تطبیق هیستوگرام خطاي نوار نوار شدگي استفاده شد[ 28 ]. سپس مقادير DN با استفاده از نرم افزار ENVI به انعکاس باالي اتمسفر و دماي درخشندگي تبديل شدند. براي اختصار در اين مقاله به جاي واژههاي انعکاس باالي اتمسفر و دماي درخشندگي به ترتیب از انعکاس و دما استفاده شده است. 5- روش تحقیق بعد از انجام پیشپردازشهاي الزم و کاهش خطاهاي ذکر شده ويژگيهاي بافتي و طیفي از تصوير استخراج شدند. ويژگيهاي بافتي استفاده شده در اين تحقیق عبارتند از همهي ويژگيهاي بافتي انعکاسي استخراج شده از ماتريس رخداد توام در همسايگيهاي شامل میانگین وريانس همگني کنتراست عدم شباهت آنتروپي گشتاور مرتبه دوم و وابستگي و در مورد باندهاي حرارتي از برخي از ويژگيهاي بافت شامل وابستگي میانگین گشتاور مرتبه دوم و عدم شباهت استفاده شد. ويژگيهاي طیفي به کار گرفته شده شامل مقادير انعکاس دماي درخشندگي و اختالفات مقادير دماي درخشندگي ميباشند. جدول لیست ويژگيهاي انعکاسي و حرارتي ورودي را نشان ميدهد. باندهاي و 2 از باندهاي مفید در شناسايي ميباشند. همچنین باند 8 در محدودهي طول موج آبي بوده و به منظور بررسي قابلیت باندهاي مرئي در شناسايي در نظر گرفته شد به عالوه اين باند داراي کاربرد براي شناسايي در مناطق بیاباني است[ 23 ]. باند 2 نیز در ماسک ماديس به منظور شناسايي سیروس مورداستفاده قرار گرفتهاست[ ]. همچنین شاخصهاي NDSI NDVI و نسبت انعکاس باند به باند 2 به ترتیب داراي کاربرد در شناسايي در مناطق داراي پوشش گیاهي برفي و مناطق بیاباني و آبي ميباشند. ويژگيهاي حرارتي در نظر گرفته شده به عنوان ورودي عبارتند از: دماي باند 22 2 و 2 به دلیل کاربرد در شناسايي دماي ويژگيهاي بافت اين باندها و اختالفهاي دماي درخشندگي شامل - - BT 33-BT 3 - -2 BT 3-BT 32 BT 22-BT 32- BT 20-BT 32 2 2-2 BT 3-BT 20. ويژگيهاي و دماي باند به منظور شناسايي هاي ارتفاع باال و ويژگي براي شناسايي هاي ارتفاع باال و پايین در ماسک ماديس استفاده شده است[ ]. 2 Histogram matching stripping 4
بررسي عملکرد روشهاي يادگیري جمعي با توجه به روش انتخاب ويژگي به منظور ادغام... ويژگيهاي بافت ويژگيهاي بافت ماتريس رخداد توام ويژگيهاي انعکاسي باندهاي 2 8 و )8 2 ويژگي براي هر باند( سپس ويژگيهاي بافتي و جدول - ويژگيهاي انعکاسي و حرارتي ورودي ويژگيهاي طیفي انعکاس باندهاي 8 2 و باند 2 شاخصهاي NDSI NDVI و نسبت انعکاس باند به 2 طیفي انعکاسي و حرارتي ذکر شده به طور جداگانه وارد فرايند انتخاب ويژگي شدند. به منظور انتخاب ويژگي در طبقهبندي با انواع مختلف ويژگيهاي بافت کارلیشن باند 2 میانگین و گشتاور مرتبه دوم باند 22 میانگین و عدم شباهت باند میانگین باند 2 ويژگيهاي حرارتي و ويژگيهاي طیفي دماي باندهاي 2 22 2 و BT -BT 2 BT -BT BT -BT 2 BT 2 -BT 2 BT 22 -BT 2 ژنتیک و در طبقهبندي با از معیار جدايي پذيري )S( و الگوريتم استفاده از الگوريتم جنگل تصادفي عالوه بر روشهاي فوق ماتريس کارلیشن و حذف ويژگي به صورت بازگشتي )موجود در بستهي caret نرمافزار R( نیز استفاده شدند. سپس بر روي ويژگيهاي استخراج شده از باندهاي غیر حرارتي با استفاده از 2 نوع مختلف از الگوريتم شامل adaboost.m totalboost logitboost adaboostsvm و الگوريتم جنگل تصادفي طبقهبندي انجام شد. بر روي ويژگيهاي استخراجي از باندهاي حرارتي نیز با استفاده از روشهاي ذکر شده طبقهبندي انجام و طبقهبندي کنندهها در سطح تصمیم با توجه به نوع خروجي با استفاده از دو روش راي اکثريت و احتمال بیشینه )در روش يکديگر ادغام شدند. افزار نرمافزار روشهاي ( با logitboost MATLAB R در محیط نرم- و الگوريتم جنگل تصادفي در محیط پیاده سازي شدند. در انتها از ماسک ماديس) Mod35 ( به عنوان رفرنس استفاده شده و نتايج با ماسک ماديس مقايسه شد )شکل 2(. شکل 2 - فلوچارت مراحل انجام تحقیق -5- انتخاب ویژگی با استفاده از معیار S ميتوان از معیار جدايي پذيري که بر اساس میانگین و انحراف معیار ويژگيها بین دو کالس محاسبه ميشود )رابطهي 5( به منظور انتخاب ويژگي استفاده کرد. در S ijk رابطهي )( میزان جداييپذيري ويژگي بین v i کالسهاي ميباشد. C k و C j میانگین و انحراف معیار ويژگي m i, j σ i,j و در کالس i چه توصیفگر در نظر گرفته شده مقدار Cj به ترتیب هستند. هر Sepratability باالتري داشته باشد بدين معني است که دو کالس مورد نظر را بهتر از ساير ويژگيها از يکديگر تشخیص ميدهد. 42
با محاسبهي مقدار پارامتر نشريه علمي- پژوهشي علوم و فنون نقشه برداري دوره هفتم شماره شهريور ماه 3 S S بین هر کدام از زوج کالسها و براي هر کدام از ويژگيها به طور جداگانه ميتوان مجموعه توصیفگرهايي که داراي بیشترين مقدار پارامتر بین هر کدام از زوج کالسها هستند را به عنوان ويژگيهاي بهینه انتخاب کرد. به عنوان مثال مقادير براي دو ويژگي S پارامتر NDVI و NDSI زوج کالسها در جداول 2 و آمدهاست. بین هر کدام از m m i, j i, k S )( i, j, k i, j i, k به دلیل يکسان بودن پارامتر S بین کالسهاي j وk kو j وکالس ماتريسهاي نشان داده شده در جداول 2 و ماتريسهايي متقارن هستند بناين تنها درايههاي باالي قطر اصلي نشان داده شدهاند. به عنوان مثال با توجه به جداول 2 و مالحظه ميشود که میزان پارامتر بین S کالسهاي و )کالس و سیروس( براي شاخص NDSI مقدار 2/6 و براي شاخص ميباشد بناين شاخص NDVI NDSI کالس بهتر عمل ميکند. با مقايسهي پارامتر بر با /82 در تشخیص اين دو بین دو S کالس و براي ساير ويژگيها در نهايت ويژگي که داراي بیشترين مقدار S است انتخاب ميشود. اين کار براي ساير جفت کالسها تکرار شده و در نهايت مجموعهاي از ويژگيها که داراي ماکزيمم مقدار پارامتر S بین جفت کالسها هستند انتخاب ميشوند. جدول ويژگيهاي انعکاسي و حرارتي انتخاب شده با استفاده از روشهاي معیار S و ساير روشهاي به کار گرفته شده شامل الگوريتم ژنتیک ماتريس کارلیشن و روش بازگشتي را نشان ميدهد. با توجه به اين جدول مالحظه ميشود که در چهار روش انتخاب ويژگي ذکر شده خروجيهاي متفاوتي به عنوان ويژگيهاي بهینه به دست آمده است. علت اين اختالف تفاوت در تابع هدف ميباشد. براي مثال تابع هدف در روش معیار S معیار جدايي پذيري است که از میانگین و انحراف معیار ويژگيها براي تعريف آن استفاده ميشود و يا در الگوريتم ژنتیک تابع هدف میزان عدم توافق نتیجهي طبقهبندي SVM با نقشهي رفرنس به دست آمده از ماسک ماديس در نظر گرفته شد و يا در روش بازگشتي با استفاده از معیار اهمیت ويژگي به هر مجموعه از ويژگيها رنک داده ميشود. بناين اين تفاوت در تابع هدف منجر به انتخاب ويژگيهاي متفاوت و در نتیجه تفاوت در دقت شناسايي کالسهاي هدف ميشود. اين مطلب ميتواند در شناسايي عارضهي مورد نظر کمک کننده باشد. جدول 2 - معیار جدايي پذيري )S( براي ويژگي NDVI NDVI SNDVI, SNDVI,2 SNDVI, SNDVI,2 SNDVI, SNDVI, SNDVI,6 SNDVI, /32 /2 /282 /236 /836 2/3 SNDVI,2 /23 2/23 /26 /363 6/326 SNDVI, /2 /3 /2262 /362 SNDVI,2 2/623 2/36 /68 SNDVI, 2/823 /88 SNDVI, 8/2 SNDVI,6 جدول - معیار جدايي پذيري )S( براي ويژگي NDSI NDSI SNDSI, SNDSI,2 SNDSI, SNDSI,2 SNDSI, SNDSI, SNDVI,6 SNDSI, SNDSI,2 /63 SNDSI, /8 /332 SNDSI,2 /28 /68 /3 SNDSI, 2/33 6/38 /62 /3 SNDSI, 2/ /6323 /36 2/38 /33 SNDSI,6 /6 /363 /236 /2828 2/233 6/26 43
SVM 2-5- انتخاب ویژگی با استفاده از الگوریتم بررسي عملکرد روشهاي يادگیري جمعي با توجه به روش انتخاب ويژگي به منظور ادغام... ژنتیک به منظور انتخاب ويژگي با استفاده از الگوريتم ژنتیک تابع آمیزش scattered و تابع جهش گوسین در نظر گرفته شد. تابع جهش گوسین مقداري که از توزيع گوسین با میانگین صفر به صورت رندم انتخاب ميشود به هر کدام از مختصاتهاي والدين اضافه ميکند. انحراف معیار اين توزيع با استفاده از دو پارامتر پارامتر و پارامتر scale و shrink scale تعیین ميشود. بر با انحراف معیار توزيع در اولین نسل است shrink میزان تغییر )افزايش يا کاهش( انحراف معیار را در هر نسل تعیین ميکند. در صورتي که مقدار shrink بر با يک در نظر گرفته شود مقدار انحراف معیار در هر نسل به طور خطي کاهش مييابد و در تکرار آخر مقدار آن به صفر ميرسد )رابطهي ( k k k shrink Generations )( دو پارامتر و اندازهي بر با shrink و scale جمعیت بر با و تعداد نسلها بر با در نظر گرفته شد. الگوريتم ژنتیک يک الگوريتم جستجوي تصادفي است و براي اين که به نتیجهي مطلوب دست يابد بايد فضاي جستجو به اندازهي کافي بزرگ در نظر گرفته شود. به همین دلیل بايد اندازهي جمعیت يا تعداد نسلها باال در نظر گرفته شود که در اين جا تعداد نسلها بر با در نظر گرفته شده و از افزايش تعداد جمعیت به در دلیل افزايش سرعت الگوريتم اجتناب شد. نوع افراد جمعیت از نوع رشتههاي بیتي 2 تعريف شد. مقدار در اين رشتهها به معني انتخاب ويژگي مورد نظر و به معني عدم انتخاب آن ويژگي است. طول هر کدام از افراد بر با تعداد ويژگيهاي ورودي به فرايند انتخاب ويژگي در نظر گرفته شد. بناين طول رشتهي بیتي براي ويژگيهاي غیر حرارتي بر با 3 و در مورد ويژگيهاي حرارتي بر با 2 در نظر گرفته شد. تابع هدف در الگوريتم ژنتیک بر با میزان عدم توافق نتیجهي طبقهبندي به روش با ماسک ماديس تعريف شد. به منظور محاسبهي تابع هدف ابتدا درصد از دادههاي آموزشي به صورت رندم به عنوان تست انتخاب شده و محاسبهي مقادير تابع هدف روي اين دادههاي. تست صورت گرفت. شکل نمودار مقادير تابع هدف )میزان )fiteess را در بر تعداد نسلها در طبقهبندي با ويژگيهاي انعکاسي و حرارتي نشان ميدهد. نقاط آبي رنگ میانگین مقادير تابع هدف در هر جمعیت و نقاط سیاه بهترين مقدار تابع هدف در نسل کنوني را نشان ميدهد. با توجه به شکل مشاهده ميشود در تکرارهاي نهايي در مورد هر دو نمودار مقدار میانگین تابع هدف بر با بهترين مقدار شده )انطباق نقاط آبي و مشکي( و مسئله همگرا ميشود. در واقع در تکرارهاي نهايي افراد موجود در جمعیت يکسان خواهند بود که با آمیزش اين افراد تکراري دوباره همان افراد ايجاد خواهد شد و بهبودي در نتايج از اين مرحله به بعد حاصل نخواهد شد. در نهايت در مورد ويژگيهاي حرارتي مقدار تابع هدف به مقدار % و در مورد ويژگيهاي انعکاسي به مقدار 2 %رسید. شکل - انتخاب ويژگي با استفاده از الگوريتم ژنتیک باال: اننخاب ويژگيهاي حرارتي پايین: ويژگيهاي غیر حرارتي individual 2 bitstring 44
نشريه علمي- پژوهشي علوم و فنون نقشه برداري دوره هفتم شماره 3-5- انتخاب ویژگی با استفاده از ماتریس کارلیشن يکي از تابعهاي ارزيابي موجود در فرايند انتخاب ويژگي معیار وابستگي است. با استفاده از اين معیار ميتوان ويژگيهاي اضافي که اطالعات جديدي در مورد کالسها به دست نميدهند را حذف و افزونگي داده را کاهش داد. در اين روش ابتدا بین ويژگيهاي ورودي ماتريس کارلیشن محاسبه شده و سپس ويژگيهايي که داراي کارلیشن بیش از مقدار حدآستانه هستند از بین ويژگيهاي انتخابي حذف ميشوند. مقدار حدآستانه در اين روش بر با /6 در نظر جدول 2 - بخشي از ماتريس کارلیشن براي ويژگيهاي انعکاسي گرفته شد. در جداول 2 و بخشي از ماتريسهاي کارلیشن براي ويژگيهاي غیرحرارتي و حرارتي نشان داده شدهاست. با توجه به اين جداول مالحظه ميشود که ويژگيهاي وريانس و کنتراست داراي کارلیشن باالتر از مقدار حدآستانه ميباشند بناين يکي از اين دو ويژگي از بین ويژگيهاي انتخابي حذف ميشوند. همچنین ويژگيهاي میانگین باند و 22 نیز جزو ويژگيهاي با کارلیشن باال )%3( هستند و در نظر گرفتن هر دو ويژگي ذکر شده ميتواند موجب کاهش دقت عملکرد طبقهبندي کننده شده و يکي از اين دو ويژگي بايد در نظر گرفته شود. شهريور ماه 3 جدول - بخشي از ماتريس کارلیشن براي ويژگيهاي حرارتي 4-5- انتخاب ویژگی با استفاده از حذف ویژگی به روش بازگشتی در اين روش ابتدا طبقهبندي با استفاده از همهي ويژگيها انجام شده و براي هر ويژگي يک مقدار اهمیت )رتبه( محاسبه ميشود. سپس طبقهبندي با استفاده از مهمترين ويژگي انجام شده و دقت طبقهبندي محاسبه ميشود اين کار براي تعداد- هاي مختلف از مهمترين ويژگيها تکرار ميشود. در نهايت آن تعداد از مهمترين ويژگيها که داراي باالترين دقت طبقهبندي هستند انتخاب ميشوند. در اين تحقیق به منظور پیاده سازي الگوريتم بازگشتي مدل طبقهبندي الگوريتم جنگل تصادفي در نظر گرفته شده و با استفاده از معیار اهمیت ويژگي اهمیت هر ويژگي محاسبه ميشود. به منظور پیاده سازي اين روش نیز مانند روش ماتريس کارلیشن از بستهي caret نرمافزار R استفاده شد. دقت مدل طبقهبندي با استفاده از روش cross 0-fold validation محاسبه شده و در انتها زير مجموعهاي از ويژگيها که باالترين دقت را نتیجه ميدهند انتخاب ميشوند. شکل 2 دقتهاي به دست آمده را برحسب مقادير مختلف تعداد ويژگيها نشان ميدهد. همان طور که در شکل 2 ديده ميشود باالترين دقت در مورد ويژگيهاي انعکاسي با استفاده از 2 ويژگي و براي ويژگيهاي حرارتي با استفاده از 3 ويژگي به دست آمده است. 45
بررسي عملکرد روشهاي يادگیري جمعي با توجه به روش انتخاب ويژگي به منظور ادغام... 5-5- طبقهبندی با استفاده از روشهای یادگیری جمعی همان طور که گفته شد در اين تحقیق از 2 نوع روش adaboostsvm شامل adaboost.m totalboost logitboost و الگوريتم جنگل تصادفي به منظور طبقهبندي استفاده شد. طبقهبندي کنندهي SVM با کرنل گوسین در سه روش adaboostsvm adaboost.m و در نظر گرفته totalboost به عنوان طبقهبندي کنندهي پايه شد. از آن جايي که طبقهکنندهي SVM روشي پارامتريک است نیاز است قبل از انجام طبقهبندي پارامترهاي مورد نظر تنطیم شوند. پارامترهايي که بايد در طبقهبندي با SVM- RBF تنظیم شوند شامل دو پارامتر هزينه )C( و گاما ( ميباشند. به منظور تنظیم اين پارامترها از روش جستجوي 2 استفاده شد. در اين روش با در نظر گرفتن محدودهاي گريد از مقادير C و مقاديري که باالترين دقت cross validation را نتیجه ميدهند به عنوان پارامترهاي نهايي در نظر گرفته ميشوند. جستجوي مقدار بهینه براي پارامتر C در محدودهي - 2 تا 2 و براي پارامتر از - 2 تا 2 انجام و تعداد fold ها بر با در نظر گرفته شد. در هر تکرار از روشهاي adaboost.m و totalboost مقادير پارامترهاي بهینه با روش جستجوي گريد انتخاب ميشوند. به منظور افزايش سرعت در اجراي الگوريتمهاي در روشهايي که تعداد دفعات تکرار از پیش قابل تعیین است )روشهاي logitboost adaboost.m و )totalboost تعداد دفعات تکرار بر با در نظر گرفته شد. ) شکل 2 - انتخاب ويژگي با استفاده از حذف ويژگي به روش بازگشتي راست: ويژگيهاي غیر حرارتي چپ: ويژگيهاي حرارتي. -5-5- طبقهبندی با استفاده از روش adaboost.m در روش adaboost.m در هر تکرار يک زير مجموعه از دادههاي آموزشي به طور تصادفي انتخاب شده و توزيع Base learner 2 Grid search وزن دادههاي آموزشي به گونهاي بروزرساني ميشود که وزن بیشتري به دادههاي آموزشي که اشتباه طبقهبندي شدهاند اختصاص يابد. شکلهاي الف و ب نقشههاي طبقهبندي به دست آمده با استفاده از ادغام با اين روش را نشان ميدهند که به ترتیب از روشهاي معیار S و GA به منظور انتخاب ويژگي استفاده شده است. 2-5-5- طبقهبندی با استفاده از روش adaboostsvm همان طور که توضیح داده شد در روش adaboostsvm مقدار پارامتر هزينه )C( ثابت نگه داشته شده و مقدار σ در صورتي که خطاي طبقهبندي بزرگتر از / شود به اندازهي σ scale کاهش مييابد و الگوريتم زماني متوقف ميشود که مقدار σ بر با σ min شود. علت توقف الگوريتم در σ min اين است که انتخاب مقادير بسیار کوچک براي σ باعث انطباق بیش از حد مدل طبقهبندي به دادههاي آموزشي ميشود. در اين تحقیق مقدار پارامتر هزينه )C( در روش adaboostsvm بر با 2 در نظر گرفته شد. از آن جايي که انتخاب مقادير کوچک براي پارامتر هزينه ميتواند باعث کاهش دقت طبقهبندي شود بايد از انتخاب مقادير کوچک اجتناب شود. براي طبقهبندي با استفاده از اين روش نیاز به تعیین پارامترهاي σ min σ initial و σ scale ميباشد. هر چند جواب نهايي وابسته به مقادير σ initial و σ scale نميباشد اما در نظر گرفتن σ scale مناسب ميتواند تعداد دفعات تکرار الگوريتم را کاهش و موجب سريعتر همگرا شدن مقدار σ initial به σ min شود. در اين تحقیق مقدار ( σ initial پارامتر سیگماي کرنل گوسین در تکرار اول( بر با شعاع پراکندگي دادههاي آموزشي در فضاي ويژگيها و مقدار ( σ min پارامتر سیگماي کرنل گوسین در تکرار آخر( بر با میانگین مقادير کمترين فاصله بین هر دو دادهي آموزشي در نظر گرفته شدند[ 2 ]. شکلهاي ج و د نقشههاي طبقهبندي به دست آمده با استفاده از ادغام با اين روش را نشان ميدهند که در اين شکلها به ترتیب از روشهاي معیار S و GA به منظور انتخاب ويژگي استفاده شده است. 46
3-5-5- طبقهبندی با استفاده از روش نشريه علمي- پژوهشي علوم و فنون نقشه برداري دوره هفتم شماره شهريور ماه 3 logitboost همان طور که گفته شد در روش الجیت بوست در هر تکرار به مقادير پاسخ )zj( هر کالس يک مدل برازش داده ميشود. مدلهاي برازش داده شده به هر کالس در هر تکرار با يکديگر جمع ميشوند و از مقدار به دست آمده به منظور به روز رساني احتمال تعلق هر پیکسل به هر کالس استفاده ميشود و دوباره در تکرار بعد با استفاده از مقادير احتمال جديد مقدار z j محاسبه شده و اين فرايند تکرار ميشود. خروجي اين روش به صورت مقادير احتمال است. در اين تحقیق به منظور برازش مدل به هر کالس در هر تکرار از يک مدل خطي از ويژگيهاي ورودي با ترم ثابت استفاده شد. تعداد ترمهاي مدل )تعداد ويژگيها( با استفاده از الگوريتم ژنتیک براي ويژگيهاي انعکاسي و حرارتي بهینه شدند. تابع هدف مشابه ساير روشها ميباشد با اين تفاوت که به جاي طبقهبندي کنندهي SVM از روش logit boost استفاده شد. 4-5-5- طبقهبندی با استفاده از روش totalboost همان طور که توضیح داده شد در روش totalboost در هر تکرار وزن دادههاي آموزشي به گونهاي به روز رساني ميشوند که مقدار آنتروپي نسبي نسبت به توزيع اولیهي دادههاي آموزشي مینیمم شود. اين مسئلهي بهینه سازي با استفاده از روش برنامهسازي درجه دو مقید حل ميشود و داراي دو قید است: - مجموعه مقادير اضافه شده به وزن هر کدام از دادههاي آموزشي بر با صفر شود. 2- مقادير edge ها )میانگین وزن دار مقادير حاشیهها( در تکرار فعلي و تکرارهاي قبل کوچکتر مساوي با min(γ q)-v q=,,t )اختالف پارامتر دقت )v( از مینیمم مقادير edge ها در t تکرار قبل( شود. به منظور پیادهسازي پارامتر دقت )v( بر با /2 نظر گرفته شد. شکل 2 ب نقشهي طبقهبندي حاصل از ادغام با استفاده از اين روش را نشان ميدهد. جدول - ويژگيهاي انعکاسي و حرارتي انتخاب شده با استفاده از روشهاي معیار S الگوريتم ژنتیک )GA( ماتريس کارلیشن و روش بازگشتي روش انتخاب ويژگي معیار S GA )تابع هدف: نزديکي طبقهبندي ويژگيهاي بافت میانگین باند عدم شباهت باند 2 آنتروپي باند 2 گشتاور دوم باند 2 ويژگيهاي انعکاسي ويژگيهاي طیفي انعکاس باند انعکاس باند 8 میانگین انعکاس باند 8 انعکاس باند 2 NDSI نسبت انعکاس به باند 2 باند ويژگيهاي بافت میانگین باند ويژگيهاي حرارتي ويژگيهاي طیفي دماي باند 2 و BT -BT BT -BT 2 BT 2 -BT 2 BT 22 -BT 2 SVM به )MOD35 وريانس باند همگني باند آنتروپي باند میانگین باند 2. نسبت انعکاس باند به باند 2 NDSI عدم شباهت باند میانگین باند 2 وابستگي باند 2 میانگین باند 2 دماي باند BT -BT BT -BT 2 BT 2 -BT 2 BT 22 -BT BT 2 -BT NDSI وريانس میانگین 2 کنتراست 8 میانگین 2 GA )تابع هدف: نزديکي طبقهبندي logitboost به )MOD35 کارلیشن 2 میانگین 22 گشتاور دوم 22 میانگین میانگین 2. دماي باند 22 2 و BT 2 -BT 2 BT -BT 2 BT - BT 2 ماتريس کارلیشن وابستگي کنتراست 2 عدم شباهت 2 گشتاور مرتبه دوم 2 وابستگي 2 وريانس 8 وابستگي 8 میانگین 2 وريانس 2 و وابستگي 2 انعکاس 2 نسبت انعکاس باند وابستگي 2 میانگین 22 گشتاور مرتبه دوم 22 عدم شباهت به NDVI 2 و NDSI میانگین 2 میانگین 22 میانگین 8 میانگین میانگین 2 میانگین 2 آنتروپي روش بازگشتي انعکاس باند 8 انعکاس 2 انعکاس انعکاس 2 NDVI NDSI نسبت انعکاس باند به 2 میانگین عدم شباهت دماي باند 2 BT -BT BT 2 -BT 2 BT -BT 2 BT - BT 2 47
بررسي عملکرد روشهاي يادگیري جمعي با توجه به روش انتخاب ويژگي به منظور ادغام... 5-5-5- طبقهبندی با استفاده از الگوریتم RF دو پارامتر بايد پیش از طبقهبندي با الگوريتم جنگل تصادفي تعیین شوند. تعداد درختها و تعداد ويژگيهاي انتخاب شده در هر گره. در اکثر مطالعات پیشین گزارش شده است که خطا قبل از درخت به پايداري ميرسد. همچنین در اين تحقیقات دو مقدار براي تعداد ويژگيهاي انتخاب شده در هر گره در نظر گرفته شده است: - کل تعداد ويژگيهاي ورودي 2- مجذور تعداد کل ويژگيها. مورد اول باعث افزايش زمان اجراي الگوريتم ميشود بناين تعداد ويژگيهاي انتخاب شده در هر گره در اين مقاله بر با جذر تعداد کل ويژگيها )مقدار پیش- فرض در R( در نظر گرفته شد[ ]. شکلهاي 2 ج و د نقشههاي طبقهبندي حاصل از ادغام با استفاده از روش روش معیار RF S و GA در صورتي که به ترتیب از به منظور انتخاب ويژگي استفاده شده باشد را نشان ميدهند. همچنین شکل الف و ب نقشههاي طبقهبندي مربوط به اين روش ميباشند که از به ترتیب از روشهاي RFE و ماتريس کارلیشن به منظور انتخاب ويژگي استفاده شده باشد. 6-5- ارزیابی نتایج به منظور مقايسهي روشهاي مختلف طبقهبندي از به دست نظر دقت کاپاي هر کالس که از ماتريس ابهام ميآيند استفاده شدهاست. همچنین میزان توافق نتايج طبقهبندي در قسمتهاي ي با نقشهي مرجع به دست آمده از ماسک ماديس )MOD35( محاسبه شد. -6-5- ارزیابی عملکرد روشهای یادگیری جمعی در شناسایی پیکسلهای برف/یخ و سیروس با توجه به روش انتخاب ویژگی در اين قسمت عملکرد روشهاي يادگیري جمعي با توجه شاخصهاي مربوط به هر يک از کالسهاي و سیروس )دقتهاي تولیدکننده و کاربري و ضريب کاپاي هر کالس( در حالتي که از روشهاي معیار S الگوريتم ژنتیک )GA( ماتريس کارلیشن و حذف ويژگي به روش بازگشتي )RFE( براي انتخاب ويژگي استفاده شده باشد با يکديگر مقايسه شدهاند. به منظور بررسي عملکرد روشهاي مختلف انتخاب ويژگي و يادگیري جمعي در شناسايي پیکسلهاي ي و سیروس نیاز به بررسي دقتهاي تولید کننده کاربري و کاپاي هر کالس ميباشد. همان طور که در جدول 8 مشاهده ميشود به طور کلي همهي روشهاي يادگیري جمعي به دقتهاي تولید کنندهي بااليي در شناسايي کالس دست يافتند و به استثناي روش totalboost-ga براي همهي روشها نیز دقت تولید کنندهي بااليي در شناسايي هاي سیروس به دست آمده است. دقتهاي کاربري به دست آمده در حالتي که از روش ماتريس کارلیشن و RFE در الگوريتم جنگل تصادفي به منظور انتخاب ويژگي استفاده شده به ترتیب مقادير % و %33 به دست آمد که نسبت به مقادير مشابه براي روشهاي S معیار و الگوريتم ژنتیک )GA( مقادير باالتري است. همچنین مالحظه ميشود که اکثر روشهاي صرف نظر از اين که از چه روشي براي انتخاب ويژگي استفاده شود دقت هاي تولید کنندهي باالتري نسبت به الگوريتم جنگل تصادفي نتیجه دادند. از مزاياي روشهاي ايجاد توازن بین تعداد دادههاي آموزشي کالسها در صورتي است که تعداد دادههاي آموزشي يک کالس اختالف زيادي با تعداد دادههاي آموزشي کالسهاي ديگر داشته باشد اين امر با اختصاص وزن بیشتر به دادههاي آموزشي مربوط به کالس با دادههاي آموزشي کمتر در صورت طبقهبندي نادرست دادههاي آموزشي آن کالس میسر ميشود. با توجه به جدول 6 مشاهده ميشود که تعداد دادههاي آموزشي پیکسلهاي نسبت به ساير کالسها کمتر است در نتیجه در صورت طبقهبندي اشتباه پیکسلهاي در روشهاي وزن بیشتري به دادههاي آموزشي مربوطه که اشتباه طبقهبندي شدهاند اختصاص مييابد و در تکرارهاي بعدي مدل طبقهبندي به گونهاي تنظیم ميشود که دادهي آموزشي مورد نظر در کالس صحیح قرار گیرد. ولي در RF الگوريتم چنین قابلیتي وجود ندارد در نتیجه دقت تولیدکنندهي کمتري براي پیکسلهاي با استفاده از روش RF به دست آمده است. در روشهاي دقتهاي کاربري سیروس نسبتا باالتري نسبت به اکثر حالتهاي الگوريتم جنگل Confusion matrix تصادفي به دست آمده است. همچنین حذف ويژگيهاي 48
داراي وابستگي بیش از /6 در نشريه علمي- پژوهشي علوم و فنون نقشه برداري دوره هفتم شماره شهريور ماه 3 باعث بهبود دقت RF کاربري هاي سیروس شدهاست. با مقايسهي روشهايي که از الگوريتم ژنتیک براي انتخاب ويژگي استفاده کردهاند مالحظه ميشود که برخي از روشها مانند RF توانستهاند به دقت کاربري بااليي در شناسايي پیکسلهاي دست يابند و روش logit boost-ga دقت بسیار پايینتري را در شناسايي پیکسلهاي نسبت به اين روشها نشان داده و نتوانسته است هیچ پیکسل را در تصوير شناسايي کند. علت اين تفاوت به محدوديتهاي موجود در روش logit boost در هر تکرار در ساير روشهاي ولي در الگوريتم مربوط ميشود طبقهبندي کنندههاي پايه SVM logit boost ميباشد مدل طبقهبندي با استفاده از برازش يک مدل خطي در هر تکرار به دست ميآيد که نسبت به طبقهبندي کنندهي SVM داراي پیچیدگي کمتري است. از بین روشهاي پايهي SVM استفاده ميکنند روش که از طبقهبندي کنندهي adaboost.m-ga میانگین دقتهاي تولیدکننده و کاربري باالتري را در شناسايي پیکسلهاي نشان ميدهد و روشهاي adaboostsvm-ga و totalboost-ga نشان ميدهند.در میان حالتهاي مختلف روش مقادير مشابهي را RF روش RF-S پايینترين میانگین دقت تولیدکننده و کاربري را در شناسايي پیکسلهاي نشان ميدهد. با مقايسهي مقدار ضريب کاپا براي کالس مالحظه ميشود که در روشهاي مقدار ضريب کاپا باالتر از /3 به دست آمده است که نشان دهندهي قدرت باالي روشهاي است )شکل 8(. در روش در شناسايي پیکسلهاي ي RF بسته به نوع روش انتخاب ويژگي مقدار ضريب کاپا براي کالس بین / تا متغیر بوده است. انتخاب ويژگي با استفاده از روشهاي ماتريس کارلیشن و بازگشتي منجر به افزايش ضريب کاپا به حداکثر مقدار خود شده است. روشهاي GA و معیار S در صورت ثابت بودن روش ادغام مقادير کاپاي تقريبا مشابهي براي کالس نتیجه دادند. با توجه به شکل 8 مشاهده ميشود که باالترين ضريب کاپاي کالس در روشهاي adaboostsvm-s و در روش RF مربوط به روش مربوط به روش ماتريس کارلیشن ميباشد. پايینترين ضريب کاپاي کالس در روشهاي که از طبقهبندي کنندهي پايهي SVM استفاده ميکنند همان طور که در مورد دقت کاربري مشاهده شد مربوط به روش totalboost-ga و در الگوريتم RF مربوط به حالتي است که از روش معیار S براي انتخاب ويژگي استفاده شده است. روش logit boost همان طور که در مورد دقت کاربري ذکر شد نتوانست پیکسل در تصوير شناسايي کند و ضريب کاپا براي آن تعريف نميشود. ساير حالتهاي روشهاي و RF ضريب کاپاي کالس را به ترتیب بین /-/6 و /2-/ نتیجه ميدهند. با تغییر روش انتخاب ويژگي از معیار S adaboostsvm به روش الگوريتم ژنتیک در روش مالحظه ميشود که مقدار ضريب کاپاي کالس %8 کاهش يافت که دو بر مقدار مشابه براي روش adaboost.m است. اين موضوع نشان دهندهي حساسیت باالي روش adaboostsvm نسبت به روش انتخاب ويژگي است. روش adaboostsvm کالس سیروس هم ديده ميشود )شکل بیشتري نسبت به روش دارد. دو پارامتر همان طور که در مورد 8( حساسیت adaboost.m در روش σ min و σ ini به ويژگيهاي ورودي adaboostsvm با استفاده از شعاع پراکندگي دادههاي آموزشي در فضاي ويژگي تعیین ميشوند و وابستگي روش adaboostsvm σ min به مقدار باعث حساسیت بیشتر اين روش به ويژگيهاي ورودي نسبت به adaboost.m ميشود. ضريب کاپاي به دست آمده براي کالس سیروس براي اکثر روشهاي يادگیري جمعي آورده شده در جدول 8 مقداري باالتر از /8 را نشان ميدهد که به معني قابلیت باالي اين روشها در شناسايي پیکسلهاي سیروس است )شکل 8(. از بین روشهاي انتخاب ويژگي استفاده شده در RF روش ماتريس کارلیشن ضريب کاپاي بزرگتري براي کالس سیروس نسبت به ساير روشهاي انتخاب ويژگي نتیجه داده است. نکتهي قابل توجه در مورد کالس سیروس اين است که کمترين دقتهاي کاربري مربوط به انتخاب ويژگي با استفاده از روش GA ميباشد در صورتي که به ويژگيهاي انتخابي در الگوريتم ژنتیک توجه شود مشاهده ميشود که هیچ يک از ويژگيهاي به کار رفته در ماسک ماديس که براي شناسايي پیکسلهاي سیروس مورد استفاده قرار ميگیرند انتخاب نشدهاند. در نتیجه دقت کاربري به دست آمده براي روش نسبت به حالتي که از روش معیار % %2 و % کاهش داشته است. RF و adaboostsvm adaboost.m S استفاده شده به ترتیب 4
بررسي عملکرد روشهاي يادگیري جمعي با توجه به روش انتخاب ويژگي به منظور ادغام... جدول 8 - روش مقادير دقت تولید کننده و کاربري براي انواع مختلف روشهاي و الگوريتم RF با روشهاي انتخاب ويژگي مختلف برچسب کالس کالس دقت تولید کننده دقت کاربري %33 %2 %3 %36 % %32 %3 %6 %32 %38 % %88 %38 - %36 %32 %26 %3 %6 %6 %8 %33 %22 %86 %6 %8 %8 % % %3 % %8 %3 %33 % %36 % % %3 %33 %22 % %8 %88 %33 %6 %6 %33 % %36 % % %32 %33 %22 % % %23 % سیروس سیروس سیروس سیروس سیروس سیروس سیروس سیروس سیروس 2 شماره کالس جدول 6 - تعداد نمونههاي آموزشي و دادههاي تست نام کالس سیروس تعداد دادههاي آموزشي)پیکسل( تعداد دادههاي تست)پیکسل( 3 2 388 2 سیروس Adaboost.M-S Adaboost.M-GA adaboostsvm-s AdaboostSVM-GA Logitboost-GA Totalboost-GA RF-GA RF-RFE RF-S RF-correlation matrix 50
شکل 8 - مقادير ضريب کاپاي کالسهاي و سیروس با توجه به روش انتخاب ويژگي در انواع مختلف و RF 2-6-5- مقایسهی روشهای مختلف انتخاب ویژگی از نظر میزان نزدیکی با نقشهی مرجع سیروس از ماسک ماديس در کاربردهاي زيادي استفاده شده است. برخي از محققین از MOD35 به منظور راستي آزمايي روشهاي پیشنهادي خود استفاده کردهاند[ ]. بناين در اين تحقیق از ماسک ماديس به عنوان مرجع استفاده شد. ماسک ماديس از 3 باند از تصاوير ماديس به منظور بررسي ي بودن پیکسلها استفاده ميکند. با استفاده از اين باندها مقادير انعکاس نسبتهاي انعکاسي دما و اختالف دما محاسبه شده و بر روي آنها حدآستانه تعريف ميشود. نتايج بررسيها پیکسلها را به 2 سطح اطمینان بدون ) clear ( احتماال بدون ) clear )probably احتماال ي ( probably )cloud و ي) cloudy ( تقسیم ميکند. اين محصول از 28 بیت تشکیل شده است که در آن عالوه بر اطالعات در مورد موانع سطح ساير اطالعات کمکي که براي به دست آوردن پیکسلهاي ي مورد نیاز است فراهم شده است. همچنین شامل تستهاي طیفي است که براي به دست آوردن سطوح اطمینان از آنها استفاده شده است. شکل 3 فرايند استخراج يک نقشهي مرجع که قابلیت مقايسه با نقشههاي طبقهبندي به دست آمده از روشهاي يادگیري جمعي را داشته باشد نشان ميدهد. شکل نقشهي مرجع به دست آمده از ماسک ماديس را نشان ميدهد. در جدول 3 درصد توافق روشهاي ذکر شده در جدول 8 با ماسک ماديس آورده شده است. با توجه به جدول مالحظه ميشود که روشهاي RF صحت باالتري در شناسايي ) سیروس و ساير ها( در مقايسه با روشهاي نتیجه ميدهند. روش RF-RFE همان طور که بر روي دادههاي تست دقت کاربري و ضريب کاپاي برف / خی بااليي نتیجه داد به درصد توافق %6 با نقشهي مرجع در قسمتهاي ي رسید. پايینترين درصد توافق مربوط به روش logitboost-ga ميباشد. با تغییر روش انتخاب ويژگي در adaboost.m و adaboostsvm از معیار S به روش GA صحت شناسايي نواحي ي 2 درصد بهبود يافته است. نشريه علمي- پژوهشي علوم و فنون نقشه برداري دوره هفتم شماره شهريور ماه 3 0.8 0.6 0.4 0.2 0 6- نتیجه گیری و پیشنهادات در اين تحقیق هدف شناسايي روش انتخاب ويژگي مناسب در ادغام طبقهبندي کنندههاي انعکاسي و حرارتي به منظور شناسايي پیکسلهاي و سیروس بود. اکثر روشهاي صرف نظر از روش انتخاب ويژگي دقتهاي تولید کننده و کاربري بااليي در شناسايي پیکسلهاي ي و سیروس به دست آوردند. حذف ويژگيهاي افزونه در الگوريتم RF باعث افزايش دقت کاربري پیکسلهاي ي شد. همچنین مقادير ضريب کاپاي به دست آمده براي هر کالس با استفاده از حذف ويژگيهاي افزونه نسبت به ساير روشهاي انتخاب ويژگي در RF بهبود يافت. بناين روش ماتريس کارلیشن عملکرد بهتري نسبت به ساير روشها داشته است. همان طور که گفته شد يکي از مزاياي روشهاي ايجاد توازن بین کالسها با تعداد دادههاي آموزشي متفاوت است. در صورتي که دادههاي آموزشي يک کالس نسبت به کالسهاي ديگر کمتر باشد اين اختالف با در نظر گرفتن وزن بیشتر براي دادههاي آموزشي مربوط به کالس با تعداد دادههاي آموزشي کمتر جبران ميشود. در حالت خاص که طبقهبندي کنندهي پايه SVM باشد وزن دادهي آموزشي در پارامتر هزينه )C( ضرب ميشود که با افزايش وزن تاثیر آن دادهي آموزشي در ساخت مدل 5
بررسي عملکرد روشهاي يادگیري جمعي با توجه به روش انتخاب ويژگي به منظور ادغام... طبقهبندي افزايش مييابد. همان طور که در مورد پیکسلهاي مشاهده شد اين قابلیت باعث افزايش میانگین دقت تولیدکنندهي پیکسلهاي در روشهاي نسبت به روش RF شد. همان طور که ديده شد روش adaboostsvm به دلیل وابستگي پارامتر σ min به ويژگيهاي ورودي حساسیت بیشتري نسبت به روش adaboost.m در شناسايي پیکسلهاي و سیروس نسبت به ويژگيهاي ورودي نشان داد. الگوريتم RF نسبت به روشهاي صرف نظر از روش انتخاب ويژگي توافق بیشتري با ماسک ماديس نشان داد. هر چند ويژگيهاي حرارتي و انعکاسي انتخابي در الگوريتم ژنتیک شامل ويژگيهاي مفید براي شناسايي - هاي سیروس نبودند به دلیل نزديکي باالي نقشهي طبقه- بندي به دست آمده در اين روش در ساير قسمتهاي ي با نقشهي مرجع اين موضوع بر روي میزان توافق تاثیر چنداني نداشته و روش adaboostsvm-ga باالترين میزان توافق را از بین روشهاي نتیجه داد. از بین روش- هاي انتخاب ويژگي به کار برده شده در RF روش حذف ويژگي به روش بازگشتي )RFE( توانست باالترين میزان توافق را در بین روشهاي RF و به خود اختصاص دهد. از بین روشهاي انتخاب ويژگي روشهاي معیار S GA ماتريس کارلیشن وRFE به ترتیب و ويژگي از ويژگيهاي به کار گرفته شده در ماسک ماديس را انتخاب کردند. بناين روش RFE که بیشترين تعداد ويژگيهاي مشترک با ماسک ماديس را دارد بیشترين نزديکي با ماسک ماديس را به دست آورد. در اين تحقیق % از دادههاي آموزشي به صورت رندم به عنوان دادهي تست انتخاب شدند افزايش داده- هاي تست ميتواند روي نتايج نهايي تاثیر گذار باشد. همچنین ميتوان عالوه بر بررسي عملکرد روشهاي مختلف انتخاب ويژگي اثر تغییر نوع ويژگي ورودي )بافتي يا طیفي( روي نتايج نهايي مورد بررسي قرار گیرد. شکل 3 - مراحل ايجاد نقشهي مرجع با استفاده از ماسک ماديس )MOD35( جدول 3 - درصد توافق روشهاي يادگیري جمعي با توجه به روش انتخاب ويژگي با نقشهي مرجع به دست آمده از MOD35 روش طبقهبندي و انتخاب ويژگي درصد توافق در قسمتهاي ي با نقشهي مرجع %6 %3 %3 %6 % %22 %6 %6 6% %62 Adaboost.M-S Adaboost.M-GA AdaboostSVM-S Adaboost.SVM-GA Totalboost-GA Logitboost-GA RF-GA RF-RFE RF-S RF-correlation matrix 52
پژوهشي علوم و فنون نقشه برداري دوره هفتم شماره شهريور ماه 3 نشريه علمي- شکل 0 - نقشهی مرجع به دست آمده با استفاده از ماسک مادیس )MOD35( شکل 00 - طبقهبندی با استفاده از روشهای adaboost.m و adaboostsvm الف: adaboost.m-s ب: adaboost.m-ga ج: adaboostsvm-ga د: adaboostsvm-s شکل 02 - طبقهبندی با استفاده از روشهای totalboost logit boost و الگوریتم جنگل تصادفی الف: logit boost-ga ب: totalboost-ga ج: RF-GA د: RF-S 53
بررسي عملکرد روشهاي يادگیري جمعي با توجه به روش انتخاب ويژگي به منظور ادغام... مراجع شکل 0 - طبقهبندی با استفاده از الگوریتم جنگل تصادفی الف: RF-RFE ب: matrix. RF-correlation [] Dash, M. and Liu, H., 7. Feature selection for classification. Intelligent data analysis, (-4), pp.3-56. [2] Han B, Kang L, Song H. A fast cloud detection approach by integration of image segmentation and support vector machine. InInternational Symposium on Neural Networks 2006 May 28 (pp. 20-25). Springer Berlin Heidelberg. [3] Guo F, Shen X, Zou L, Ren Y, Qin Y, Wang X, Wu J. Cloud Detection Method Based on Spectral Area Ratios in MODIS Data. Canadian Journal of Remote Sensing. 205 Nov 2;4(6):56-76. [4] Tang H, Yu K, Hagolle O, Jiang K, Geng X, Zhao Y. A cloud detection method based on a time series of MODIS surface reflectance images. International Journal of Digital Earth. 203 Dec ;6(sup):57-7. [5] Leinenkugel P, Kuenzer C, Dech S. Comparison and enhancement of MODIS cloud mask products for Southeast Asia. International journal of remote sensing. 203 Apr 20;34(8):2730-48. [6] Kotarba AZ. Regional high resolution cloud climatology based on MODIS cloud detection data. International Journal of Climatology. 205 Oct. [7] Irish RR. Landsat 7 automatic cloud cover assessment. InAeroSense 2000 2000 Aug 23 (pp. 348-355). International Society for Optics and Photonics. [8] Zhu Z, Woodcock CE. Object-based cloud and cloud shadow detection in Landsat imagery. Remote Sensing of Environment. 202 Mar 5;8:83-4. [] Li J, Menzel WP, Yang Z, Frey RA, Ackerman SA. High-spatial-resolution surface and cloud-type classification from MODIS multispectral band measurements. Journal of Applied Meteorology. 2003 Feb;42(2):204-26. [0] Tian B, Shaikh MA, Azimi-Sadjadi MR, Haar TH, Reinke DL. A study of cloud classification with neural networks using spectral and textural features. IEEE Transactions on Neural Networks. Jan;0():38-5. [] Kuo KS, Welch RM, Sengupta SK. Structural and textural characteristics of cirrus clouds observed using high spatial resolution LANDSAT imagery. Journal of Applied Meteorology. 88 Nov;27():242-60. [2] Chen DW, Sengupta SK, Welch RM. Cloud field classification based upon high spatial resolution textural features: 2. simplified vector approaches. Journal of Geophysical Research: Atmospheres. 8 Oct 20;4(D2):474-65. [3] Changhui Y, Yuan Y, Minjing M, Menglu Z. Cloud detection method based on feature extraction in remote sensing images. ISPRS-International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 203 May;():73-7. [4] Pal M. Ensemble of support vector machines for land cover classification. International journal of remote sensing. 2008 May 20;2(0):3043-. [5] Ghimire B, Rogan J, Galiano VR, Panday P, Neeti N. An evaluation of bagging,, and random forests for land-cover classification in Cape Cod, Massachusetts, USA. GIScience & Remote Sensing. 202 Sep ;4(5):623-43. 54
نشريه علمي- پژوهشي علوم و فنون نقشه برداري دوره هفتم شماره شهريور ماه 3 [6] Waske, B., van der Linden, S., Benediktsson, J.A., Rabe, A. and Hostert, P., 200. Sensitivity of support vector machines to random feature selection in classification of hyperspectral data. IEEE Transactions on Geoscience and Remote Sensing, 48(7), pp.2880-288. [7] Pal, M. and Foody, G.M., 200. Feature selection for classification of hyperspectral data by SVM. IEEE Transactions on Geoscience and Remote Sensing, 48(5), pp.227-2307. [8] Huang, M.L., Hung, Y.H., Lee, W.M., Li, R.K. and Jiang, B.R., 204. SVM-RFE based feature selection and Taguchi parameters optimization for multiclass SVM classifier. The Scientific World Journal, 204. [] Kuncheva LI. Combining pattern classifiers: methods and algorithms. John Wiley & Sons; 2004 Aug 20. [20] Li X, Wang L, Sung E. AdaBoost with SVM-based component classifiers. Engineering Applications of Artificial Intelligence. 2008 Aug 3;2(5):785-5. [2] Friedman J, Hastie T, Tibshirani R. Additive logistic regression: a statistical view of (with discussion and a rejoinder by the authors). The annals of statistics. 2000;28(2):337-407. [22] Warmuth MK, Liao J, Rätsch G. Totally corrective algorithms that maximize the margin. InProceedings of the 23rd international conference on Machine learning 2006 Jun 25 (pp. 00-008). ACM. [23] Breiman L. Random forests. Machine learning. 200 Oct ;45():5-32. [24] Gislason PO, Benediktsson JA, Sveinsson JR. Random forests for land cover classification. Pattern Recognition Letters. 2006 Mar 3;27(4):24-300. [25] Jin J. A Random Forest Based Method for Urban Land Cover Classification using LiDAR Data and Aerial Imagery. [26] Li F, Clausi DA, Wong A. Comparative study of classification methods for surficial materials in the Umiujalik Lake region using RADARSAT-2 polarimetric, Landsat-7 imagery and DEM data. Canadian Journal of Remote Sensing. 205 Jan 2;4():2-3. [27] di Bisceglie M, Episcopo R, Galdi C, Ullo SL. Destriping MODIS data using overlapping field-of-view method. IEEE Transactions on Geoscience and Remote Sensing. 200 Feb;47(2):637-5. [28] Mather, Paul.M. (2005). Computer Processing of Remotely-Sensed Images: An Introduction, John wiley & Sons, UK. [2] Hutchison, K.D. and Jackson, J.M., 2003. Cloud detection over desert regions using the 42 nanometer MODIS channel. Geophysical Research Letters, 30(23). [30] Ackerman S, Strabala K, Menzel P, Frey R, Moeller C, Gumley L. Discriminating clear-sky from cloud with MODIS algorithm theoretical basis document (MOD35. InMODIS Cloud Mask Team, Cooperative Institute for Meteorological Satellite Studies, University of Wisconsin 200. [3] Belgiu M, Drăguţ L. Random forest in remote sensing: A review of applications and future directions. ISPRS Journal of Photogrammetry and Remote Sensing. 206 Apr 30;4:24-3. 55